Environment Evolution for Terminal Agents
终端 Agent 的环境进化训练方法
🧭 终端 Agent RL · 离线环境课程
Hunyuan Team, Tencent
提出离线环境进化，沿多轮目标派生的三个难度方向逐步提升终端环境难度，并通过多 Agent 回路实现，提升终端 Agent RL 效果。
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 训练中，可将“用户任务/交互环境”当作可进化对象：把多轮任务目标显式展开，提取难度轴（如约束数量、工具噪声、状态分支），离线用 LLM 多 Agent 生成逐渐变难的任务集，不用每次等在线 rollout，降低数据成本。
- 用多 Agent 回路工程化合成环境：一个 Agent 负责提出 harder case，另一个验证可解性与难度，再一个做标注/清理，保证训练集中困难样本比例与模型能力匹配，可复用到导购、搜索、客服 Agent 的场景生成。
- 训练调度用“分代课程”：将进化后的环境按 generation 分块，训练时按模型 checkpoint 表现逐步解锁下一代，避免一次性给过难/过易环境；对应推荐 Agent 的 RL 训练可做 curriculum。
- 若做用户模拟器/环境生成，优先加入 off-policy 进化：不再依赖当前策略轨迹，能从历史或弱模型数据产生持续学习信号，适合业务环境噪声大、策略迭代快的场景。